이 선형성의 보편성 확률 이론에서 가장 강력한 단서일 수 있습니다. 임의 변수들의 합의 기대값을 단순히 각각의 기대값을 더함으로써 계산할 수 있으며, 그 변수들이 독립적이거나 상관관계가 있거나 서로 배타적인지 여부와는 무관합니다.
1. 기초 및 정리 2.1
기대값이 왜 이렇게 선형적으로 작용하는지 이해하기 위해 우리는 무심한 통계학자의 법칙(LOTUS) 다변량 시스템에 대해 살펴봅니다. 정리 2.1 만약 $X$와 $Y$가 공동 확률 질량 함수 $p(x, y)$를 가진다면, 어떤 함수 $g(X, Y)$의 기대값은 다음과 같습니다:
$$E[g(X, Y)] = \sum_{y} \sum_{x} g(x, y) p(x, y)$$
연속 변수가 공동 확률 밀도 함수 $f(x, y)$를 가질 경우, 해당 적분 형태는 다음과 같습니다:
$$E[g(X, Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) dx dy$$
2. 선형성 원리
함수 $g(X, Y) = X + Y$에 대해 LOTUS를 적용하면 본 수업의 중심 정리가 도출됩니다: $E[X + Y] = E[X] + E[Y]$. 이는 모든 유한 집합으로 자연스럽게 확장됩니다:
$E\left[\sum_{i=1}^n X_i\right] = \sum_{i=1}^n E[X_i]$
이는 공통 분포에 대한 가정이 필요 없기 때문에 '보편적'입니다. 변수들이 독립적이든 강하게 의존하든 관계없이, 합의 평균은 평균의 합과 같습니다.
예제 2a: 구급차 문제
길이 $L$인 도로 위의 위치 $X$에서 사고가 발생하고, 구급차는 위치 $Y$에 있다고 가정합시다. 여기서 $X, Y \sim U(0, L)$이며 서로 독립적입니다. 다변량 LOTUS를 사용하여 $E[|X-Y|]$를 구합니다:
공동 확률 밀도 함수는 $0 \le x, y \le L$에 대해 $f(x, y) = 1/L^2$입니다.
$$E[|X-Y|] = \int_0^L \int_0^L |x-y| \frac{1}{L^2} dx dy = \frac{L}{3}$$
3. 단조성과 경계
기대값은 임의 변수의 순서를 유지합니다. 만약 $X \ge Y$ 모든 결과에 대해 성립한다면, $E[X] \ge E[Y]$. 이것은 다음에서 나옵니다: 예제 2b: 만약 $X - Y \ge 0$이면, $E[X - Y] \ge 0$입니다. 또한 변수가 $P\{a \le X \le b\} = 1$처럼 제한되어 있다면, $P\{a \le X \le b\} = 1$그러면 다음이 성립합니다: $a \le E[X] \le b$.
4. 표본 평균 (예제 2c)
분포의 평균이 $\mu$인 표본 $X_1, \dots, X_n$를 생각해 봅시다. 그 표본 평균 는 다음과 같이 정의됩니다:
$$\bar{X} = \sum_{i=1}^{n} \frac{X_i}{n}$$
선형성에 따라 $E[\bar{X}] = \frac{1}{n} \sum E[X_i] = \frac{n\mu}{n} = \mu$입니다. 표본 평균의 기대값은 $\mu$입니다, 따라서 편향 없는 추정량임을 증명합니다.
- 모든 $X_i$가 비음수 임의 변수여야 합니다.
- 급수는 절대 수렴해야 합니다: $\sum_{i=1}^\infty E[|X_i|] < \infty$.